| 从零搭建hadoop集群之zookeeper集群安装 | 您所在的位置：网站首页 › zookeeper 2181 端口 › 从零搭建hadoop集群之zookeeper集群安装 |
从零搭建hadoop集群之zookeeper集群安装
1. 从官方渠道获取对应的zookeeper的安装包 http://archive.apache.org/dist/zookeeper/ zookeeper-3.4.10.tar.g 2. 上传zookeeper安装包到 hadoop01节点的/home/hadoop/software目录下并解压 tar -zxvf zookeeper-3.4.10.tar.gz -C ../module/3. 修改配置文件 cd /home/hadoop/module/zookeeper-3.4.10/conf更改配置文件名称 mv zoo_sample.cfg zoo.cfgvim zoo.cfg # The number of milliseconds of each tick tickTime=2000 # The number of ticks that the initial # synchronization phase can take initLimit=10 # The number of ticks that can pass between # sending a request and getting an acknowledgement syncLimit=5 # the directory where the snapshot is stored. # do not use /tmp for storage, /tmp here is just # example sakes. dataDir=/home/hadoop/module/zkdata dataLogDir=/home/hadoop/module/logs/zklog # the port at which the clients will connect clientPort=2181 # the maximum number of client connections. # increase this if you need to handle more clients #maxClientCnxns=60 # # Be sure to read the maintenance section of the # administrator guide before turning on autopurge. # # http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance # # The number of snapshots to retain in dataDir #autopurge.snapRetainCount=3 # Purge task interval in hours # Set to "0" to disable auto purge feature #autopurge.purgeInterval=1 server.1=hadoop01:2888:3888 server.2=hadoop02:2888:3888 server.3=hadoop03:2888:3888 tickTime：基本事件单元，这个时间是作为Zookeeper服务器之间或客户端与服务器之间维持心跳的时间间隔，每隔tickTime时间就会发送一个心跳；最小 的session过期时间为2倍tickTime dataDir：存储内存中数据库快照的位置，除非另有说明，否则指向数据库更新的事务日志。注意：应该谨慎的选择日志存放的位置，使用专用的日志存储设备能够大大提高系统的性能，如果将日志存储在比较繁忙的存储设备上，那么将会很大程度上影像系统性能 client：监听客户端连接的端口 initLimit：允许follower连接并同步到Leader的初始化连接时间，以tickTime为单位。当初始化连接时间超过该值，则表示连接失败 syncLimit：表示Leader与Follower之间发送消息时，请求和应答时间长度。如果follower在设置时间内不能与leader通信，那么此follower将会被丢弃server.A=B:C:D A：其中 A 是一个数字，表示这个是服务器的编号； B：是这个服务器的 ip 地址； C：Leader选举的端口； D：Zookeeper服务器之间的通信端口 其中 A 对应下面我们即将介绍的myid 文件。B是集群的各个IP地址，C:D 是端口配置 4. 分发安装包到所有的zookeeper节点 scp -r zookeeper-3.4.10/ hadoop@hadoop02:$PWD scp -r zookeeper-3.4.10/ hadoop@hadoop03:$PWD5. 所有节点配置环境变量 vim ~/.bashrc添加以下内容 export ZOOKEEPER_HOME=/home/hadoop/module/zookeeper-3.4.10 export PATH=$PATH:$ZOOKEEPER_HOME/bin刷新环境变量文件使新增的生效 source ~/.bashrc6. 给每一个zookeeper server 要分配一个不重复的1-255之间的serverid，在dataDir目录中必须加入一个文件叫做myid，myid文件中放入一个serverid mkdir /home/hadoop/module/zkdata echo 1 > myid #不要多出空格，不要多出空行，每个节点都要进行这个操作，值要与配置中的id对应7. 直接启动zookeeper 不需要初始化 zkServer.sh start 启动 zkServer.sh stop 停止 zkServer.sh status 查看角色的状态 从零搭建hadoop集群之zookeeper集群安装的更多相关文章 Centos7上搭建activemq集群和zookeeper集群Zookeeper集群的搭建 1.环境准备 Zookeeper版本:3.4.10. 三台服务器: IP 端口 通信端口 10.233.17.6 2181 2888,3888 10.233.17.7 2 ... 大数据集群环境 zookeeper集群环境安装大数据集群环境 zookeeper集群环境准备 zookeeper集群安装脚本,如果安装需要保持zookeeper保持相同目录,并且有可执行权限,需要准备如下 编写脚本: vi zkInstall.s ... spark集群搭建（三台虚拟机）——zookeeper集群搭建（3）!!!该系列使用三台虚拟机搭建一个完整的spark集群,集群环境如下: virtualBox5.2.Ubuntu14.04.securecrt7.3.6_x64英文版(连接虚拟机) jdk1.7.0. ... Hadoop（五）搭建Hadoop与Java访问HDFS集群前言 上一篇详细介绍了HDFS集群,还有操作HDFS集群的一些命令,常用的命令: hdfs dfs -ls xxx hdfs dfs -mkdir -p /xxx/xxx hdfs dfs -cat ... Kafka学习之（五）搭建kafka集群之Zookeeper集群搭建Zookeeper是一种在分布式系统中被广泛用来作为:分布式状态管理.分布式协调管理.分布式配置管理.和分布式锁服务的集群.kafka增加和减少服务器都会在Zookeeper节点上触发相应的事件kaf ... kafka集群和zookeeper集群的部署，kafka的java代码示例来自:http://doc.okbase.net/QING____/archive/19447.html 也可参考: http://blog.csdn.net/21aspnet/article/det ... kafka集群与zookeeper集群 配置过程Kafka的集群配置一般有三种方法,即 (1)Single node – single broker集群: (2)Single node – multiple broker集群: (3)Mult ... 配置Kafka集群和zookeeper集群原文链接请参见:http://www.cnblogs.com/5iTech/articles/6043224.html CentOS7搭建 Hadoop + HBase + Zookeeper集群摘要: 本文主要介绍搭建Hadoop.HBase.Zookeeper集群环境的搭建 一.基础环境准备 1.下载安装包(均使用当前最新的稳定版本,截止至2017年05月24日) 1)jdk-8u131 ... ZooKeeper1 利用虚拟机搭建自己的ZooKeeper集群前言: 前段时间自己参考网上的文章,梳理了一下基于分布式环境部署的业务系统在解决数据一致性问题上的方案,其中有一个方案是使用ZooKeeper,加之在大数据处理中,ZooKeeper确实起 ... 随机推荐 四川九联代工M301H hi3798 mv300 mt7668魔百和 强刷和TTL线刷（救砖）经验分享以下都是本次自己操作后的一些经验,不是技术分享,也是看来很多水教程后总结的精华. 四川九联代工M301H hi3798 mv300 mt7668魔百和 一.强刷 1.强刷的教程网上有很多,自己百度. ... Cesium之基础控件1. 引言 Cesium是一款三维地球和地图可视化开源JavaScript库,使用WebGL来进行硬件加速图形,使用时不需要任何插件支持,基于Apache2.0许可的开源程序,可以免费用于商业和非商业 ... LeetCode-1405 最长最快乐字符串来源:力扣(LeetCode)链接:https://leetcode-cn.com/problems/longest-happy-string 题目描述 如果字符串中不含有任何 'aaa','bbb' ... ASP判断一个字符是否为汉字的两种方法有的时候我们要求用户一定要输入汉字的信息,比如姓名和地址.那么,如何判断一个字符是不是汉字呢?其实在asp中至少有两种方法: 一.直接将某字符用asc转为ascii码,如果是英文,他应该是0-127的 ... Supported OPs and DPU LimitationsCurrently Supported Operators source:https://www.xilinx.com/html_docs/xilinx2019_2/vitis_doc/zmw1606 ... thinkphp5框架使用总结因为采用了mvc模式,所以理解上为了简便,把控制中心作为一个浏览对象去处理,其他不要去考虑只把它们当做附属物 一.路径访问方式 http://网址/index.php/模块/控制器/操作.html 其 ... 小白学python必选一本书籍《Python学习手册》(第4版)(第4版)pdf高清版免费下载地址: 提取码:ihpl 内容简介 · · · · · · Google和YouTube由于Python的高可适应性.易于维护以及适 ... mysql使用经验1.mysql建表主键,如果整数,用bigint而不用int 2.执行sql加最大执行时间 /*+ max_execution_time(60000)*/ 3.sql中避免offset过大,查询不出来 ALBERT论文简读问题描述 预训练自然语言表征时,增加模型的参数量通常可以是模型在下有任务中性能提升.但是这种做法对硬件设备的要求较高(当下的各种SOTA模型动辄数亿甚至数十亿个参数,倘若要扩大模型规模,这个内存问题是 ... sql server某列数据值逐行累加sql语句示例: DECLARE @pts varchar(max)='[{"x":5.801718000000000e+002,"y":3.633722000 ... |
【本文地址】